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Verfahren zur Erkennung von Objekten in Bildern auf der Bildpixelebene 



Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten mindestens 
einer vorgegebenen Objektklasse in digitalen Bildern auf der Bildpixelebene 
5 insbesondere zur automatischen Auswertung von Bildinformationen. 

In vielen Anwendungsfeldern liegt Bildmaterial in groBem Umfang vor, daB 
nach vorbestimmten Kriterien zu analysieren ist. Beispieiswelse im Bereich 
% der militarischen Aufkla*rung treten haufig Falle auf, in denen mittels Senso- 
ren Szenarien erfaBt werden, die nach dem Vorhandensein von Bedrohungen 

10 zu untersuchen sind. Diese Bilder werden meistens in groBer Zahl zur Verfu- 
gung gestellt und sind unter vorbestimmten Zeitbedingungen zu bewerten. 
Aus diesen Grunden wird eine automatische Bildanalyse angestrebt Weitere 
Anwendungsfalle dieser Art finden sich in dem Bereich der Medizin beispiels- 
weise zur Untersuchung einer groBen Zahl von Rpntgenbildem, z.B. zur Er- 

15 kennung von Anomalien, Tumoren. Ein weiteres Beispiel fur die Verwendung 
von automatischen Analyseverfahren von BiWem liegt im Bereich von Ord- 
nungsdiensten vor. Auch bei der VermiBtensuche Oder bei Grenzkontrollen 
bieten automatische Bildanalyseverfahren grofie Vorteile. 

~"" Allgemeine theoretische Ansatze fur derartige Analyseverfahren zur Erken- 

20 nung von Objekten in Bildern sind aus einem technischen Bericht von T. 
Dodd, Technical Report ISIS TR-4, University of Southampton, 1996, bekannt. 
Dieser Bericht beschreibt verschiedene mogliche Ansatze zur Analyse von 
digitalen Bildern zur Objekterkennung. Die Erfindung betrifft die konkrete 
Realisiemng eines einsetzbaren, robusten Analyseverfahrens fur die Objek- 
25 terkennung. 

Einzelne Schritte eines Analyseverfahrens sind in folgenden Schriften offen- 
bart: Unterschiedliche Verfahren zur Grobklasslflkatlon von Objekten werden 
in der Veroffentlichung ^Classifier and ShiftHnvariant Automatic Target Reco- 
gnition Neural Networks", D,P. Casasent, LM. Neiberg, Neural Networks, Vol. 
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8, No. 7/8, Elsevier Science Ltd., 1995, beschrieben. Allgemeine Verfahren 
2ur Zerlegung eines digitalen Bildes in Signalreprasentationen finden sich z.B. 
in „Praxls der Digitalen Bildverarbeitung und Mustererkennung", P. Haberak- 
ker, Carl Hanser Verlag, 1995. Die Ensembletheorie fur Klassifikatoren wird in 

5 einer Veroffentlichung im "Al magazine", Vol. 18, No. 4, Winter 1997, AAAI 
Press, "Machine-Learning Research" von T.G7 Dietterich beschrieben. Eine 
mdgliche Form, um Einzelergebnisse einer Analyse zu fusionieren , wird in 
„Vehicle Detection In Infrared Linescan Imagery Using Belief Networks", P.G. 
Dubksbury, D.M. Booth, C.J. Radfort, 5 th Int. Conf. Image Proc. and App., 

10 Edinburg, 1995, erlautert. 

Es ist die Aufgabe der Erfindung, ein Analyseverfahren zu schaffen, das mog- 
lichst zuverlassig Objekte in Bildern erkennt uhd von seiner Systematik her 
fur eine automatische Objekterkennung einer groBen Zahl von Bildern unter 
Zeitbedingungen geeignet ist. 

is Diese Aufgabe wird mit den Merkmalen des Anspruchs 1 gelost. Weitere Aus- 
fuhrungsformen sind in den Unteranspruchen angegeben. 

Die erfindungsgemaBe Anordnung bzw. das erfindungsgemaBe Verfahren er- 
moglicht gegeniiber dem Stand der Technik ejn zuverlassiges Analyseverfah- 
ren fur die Objekterkennung. 

20 Das erfindungsgemaBe Analyseverfahren zeichnet sich dadurch aus, daB es 
ein robustes, praktikables Verfahren zur Erkennung einer groBen Anzahl von 
unterschiedlichen Objektklassen, z.B. Fahrzeuge, Personen, Gebaude, usw., 
darstellt. Die Erfindung kann fur eine groBe Zahl an Bildquellen, z.B. Video- 
kameras, Infrarotkameras, usw., angewendet werden. 

25 Im folgenden wird die Erfindung an hand der Figuren beschrieben, die zeigen: 

Fig. 1 der Ablauf des erfindungsgemaBen Objekterkennungsverfahrens fur 
mehrere Objektklassen, soweit es auf der Bildpixelebene durchge- 
fuhrt wird, 
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Fig. 2 ein Beispiel fur ein verwendetes Eingangsbild sowie ein daraus auf- 
grund des ersten Verfahrensschrittes der Grobklassifikation ent- 
stehendes reduziertes Bild, 

Fig. 3 ein Beispiel fur einen Auaschnitt eines moglichen Entscheidungser- 
gebnisbildes des letzten Verfahrenschrittes der Erstellung eines 
Entscheidungsergebnisses und 

Fig. 4 der Ablauf des erfindungsgemaGen Objekt-Erkennungsverfahrens, 
wenn nur eine Objektkiasse relevant oder gesucht ist. 

Bei der Durchfuhrung des erfindungsgemaBen Verfahrens zur Objekterken- 
nung in Bildern wird zunachst jedes Eingangs- oder Einzelbild 1 gesondert 
analysiert. Jedes Einzelbild oder Eingangsbild 1 wird einem ersten Verfah- 
rensschritt, einer Grobklassifikation 10, zugefuhrt. Bei dieser Grobklassifika- 
tion 10 wird das Eingangsbild 1 insgesamt als Einheit betrachtet, d.h. es wird 
noch keine Zerlegung des Eingangsbilds 1 vorgenommen. Das Eingangsbild 1 
wird durch die Grobklassifikation 10 in relevante und vernachlassigbare Bild- 
pixel separiert. Ein geeignet gewahlter Grobklassifikator bestimmt fur jeden 
Bildpunkt des Eingangsbilds 1 die Relevanz des Bildpunktes fur die nachfol- 
genden Verfahrensschritte. Die Biidpunkte des Eingangsbilds 1 werden dabei 
nach einem vorgegebenen Kriterium nach ihrer Wichtigkeit hinsichtlich der zu 
erkennenden Objekte klassifiziert. Hierbei wird beispielsweise nach vorgege- 
benen Kriterien ermittelt, ob das Bild interessante Bereiche, d.h. zu erken- 
nende Objekte oderTeile derselben, enthalt. 




Ein Beispiel eines solchen Kriteriums ist die relative Homogenitat der Nach- 
barschaft des betrachteten Bildpunkts. Es wird die Annahme gemacht, da8 

25 homogene Bildbereiche keine zu erkennenden Objekte enthalten. Die Nach- 
barscfta|teines Bildpunktes wird nach einer vorgegebenen Rasterung im Bild 
definie$pZur Ermittlung der Homogenitat der Nachbarschaft des betrachte- 
ten Bildpunktes wird gepriift, ob ein Bereich von Bildpunkten ahnliche vorge- 
gebeneVigenschaften, z.B. ahnliche Farbwerte, aufweist. Entsprechen diese 

30 Eigenschaften des Bereichs dem vorgegebenen Homogenitatskriterium, wird 



j Sc/Th- 17.11.1999 

i 

i 



12. JUL. 2004 14:47 EADS OTN LG-SP +49 89 60725560 NR. 956 S.6 



P 609252 



dieser Bildpunkt als fur die nachfolgenden Verfahrensschritte uninteressant 
eingestuft und nicht weiter verarbeitet Wird das Vorhandensein des Kriteri- 
ums verneint, d.h. liegt eine inhomogene Nacftbarschaft vor, wird der Bild- 
punkt als fur die weitere Verarbeitung interessant eingestuft. 

s Als Beispiel diene ein Eingangsbild 1 f das aus einem tieffliegenden Flugzeug 
aufgenommen wurde und ein Szenario aus Landschaft und Fahrzeugen zeigt, 
wobei die Fahrzeuge mittels des erfindungsgemaSen Verfahrens automatisch 
zu erkennen sind. Bei einem solchen Eingangsbild wird fur jeden seiner Pixel- 
punkte uberpruft, ob dieser eine gewisse Nachbarsehaft mit ahniichen Farb- 

io werten besitzt So stellen z.B. die Felder im Bild hornogene Bildregionen dar, 
^ die sich aus sehr ahniichen Farbwerten zusammensetzen. Die Fahrzeuge hin- 
gegen zeigen I oka I stark unterschiedliche Farbwerte und die entsprechenden 
Pixelpunkte erfulten das vorgegebene Homogenltatskriterium nicht. Somrt 
werden alle Bildpixelpunkte, die 2.B. zu den Feldern gehoren, als fur die wei- 

15 tere Verarbeitung unwichtig eingestuft und alle Bildpixelpunkte, die z.B. zu 
Fahrzeugen gehoren, in den foigenden Verfahrensachritten weiterverwendet. 

Eine Darstellung eines beispielhaften Efngangsbilds 1 sowie das aufgrund der 
Grobklassifikation entstehende reduzierte Bild 1 1 ist in der Figur 2 gezeigt 
Das dort dargestellte Eingangsbild 1 wurde von einem Infrarotsensor aufge- 
20 zeichnet und zeigt eine in einem Gelande befindliche StraBe mit Fahrzeugen, 
die als drei dunkle Flecken in der unteren Halfte des linken Bildes der Figur 2 
~ erkennbar sind, Aufgrund der Grobklassifikation 10 wurden fur die weitere 

Analyse uninteressante Bildpunkte identifiziert Diese sind im rechten Bild der 
Figur 2 als weiBe Flachen gekennzeichnet. Die im foigenden beschriebenen 
25 Verfahrensschritte 20, 30, 40, 50 ignorieren diese Bereiche und bearbeiten 
zur weiteren Analyse des reduzierten Bildes 1 1 ausschlieBlich die nicht weiB 
markierten Bildbereiche oder -pixel. 

Mit der Grobklassifikation 10 wird der Bearbeitungsbereich des Eingangsbil- 
des 1 eingeschrankt und dieses zu einem reduzierten Bild 1 1 verarbeitet. Die 
30 nachfolgenden Verfahrensschritte konzentrieren sich nur noch auf Bildpixei- 
punkte, auf die das Verfahren im Schritt 10 reduziert worden ist. In den nach- 
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folgenden Verfahrensschritten 20, 30, 40, 50 wird zur Vereinfachung der Dar- 
stellung nicht jedesmal darauf hingewiesen, sondern es wird davon ausgegan- 
gen, da6 nur diejenigen Pixelpunkte von den Verfahrensschritten 20, 30, 40, 
50 bearbeitet werden, auf die der Bearbeitungsbereich durch die Grobklassi- 
5 fikation 10 eingeschrankt wurde. 

In einem nachsten Verfahrensschritt, in der Zeriegung oder Filterung 20 in 
Signalreprasentationen, werdeh aus jedem reduzierten Bild 11 durch eine 
vorzugsweise mehrfache Filterung nach vorbekannten Kriterien mehrere Fil- 
terbilder 21, 22, 23 erzeugt, die jeweils die gesamte im reduzierten Bild 11 

jo enthaltene Szene umfassen, soweit sie fur die Objekterkennung relevant ist. 
■w Die Filterbilder 21, 22, 23 korrespondieren hinsichtlich der dargestellten In- 
halte. Dabei kann jedes reduzierte Bild 1 1 aMgemein in mindestens zwei kor- 
respondierende Filterbilder zeriegt werden. Bei der Ausfuhrungsform nach der 
Figur 1 entstehen bei der Zeriegung 20 drei korrespondierende Filterbilder 

is 21, 22, 23. Die Filterung ist dabei vorzugsweise zweidimensional. Die Filte- 
rung kann auch eindimensional , d.h. fur die Zeilen oder Spalteh des reduzier- 
ten Bilds 1 1 erfolgen. Die durch die Zeriegung 20 entstandenen korrespon- 
dierenden Filterbilder 21, 22, 23 entsprechen vorzugsweise komplementaren 
Informationen aus dem reduzierten Bild 11. Die Informationen der komple- 

20 mentaren Filterbilder 21, 22, 23 konnen dabei zusammengenommen wieder 
die Gesamtinformation des reduzierten Bilds 1 1 bilden. Es werden sSmtliche 
Bestandteile des reduzierten Bildes 1 1 einer Filterung unterworfen. 

%P Beispielsweise konnte ein reduziertes Bild 1 1 in dem Verfahrensschritt 20 in 

ein erstes korrespondlerendes Filterbild 21 mit klelnen Elementen, in ein 
25 zweites korrespondierendes Filterbild 22 mit groBeren Elementen und in ein 
korrespondierendes Filterbild 23 mit den verbleibenden noch groBeren Ele- 
menten zeriegt werden. Die im reduzierten Bild 1 1 dargestellte Szene bleibt 
dabei; ejjhalten, d.h. es bleiben die re I e van ten Bild- Bestandteile und deren Zu- 
ordnurajpn relativ zueinander erhalten, wobei uninteressante Bild-Besrtandtei- 
30 le fyie Kulturinformationen des Gelandes in den Filterbildern nicht mehr auf- 
ty-eten mussen. Das Grob-Szenario des reduzierten Bildes 1 1 bleibt in den Fil- 
terbildern 21, 22, 23 erhalten. Betrachtet man als Beispiel das oben einge- 
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fuhrte Bild einer StraBe mit Fahrzeugen und Feldern, so kdnnte z.B. das Fil— 
terbild 21 von den Fahrzeugen die Objektdetails, wie z.B. die Reifen und die 
Scheinwerfer, enthalten. In dem FilterbtW 22 werden die mittleren Strukturen 
der Fahrzeuge, wie z.B. Windschutzscheibe, Motorhaube, usw., hervorgeho- 
5 ben und das Filterbild 23 enthalt dann nur noch den groben UmriB der Fahr- 
zeuge. Die Gesamtszene mit der StraBe und den Fahrzeugen ist in jedem Fii- 
terbilder 2 1, 22, 23 weiterhin enthalten. 

Nach einem anderen Beispiel kann die Zeriegung 20 des reduzierten Bildes 
1 1 nach Farbbereichen Oder nach Grauwerten vorgenommen werden. Ein 
weiteres Beispiel fur eine mogliche Zeriegung 20 des reduzierten Bildes 1 1 in 
einzelne korrespondierende Filterbilder Oder Reprasentanten stellt eine Bild- 
pyramide dar. jeder Reprasentant einer Biidpyramide, d.h. jede Stufe dieser 
Bildpyramide, entspricht einer anderen, im altgemeinen niedrigeren Auflbsung 
des Eingangsbildes. Somit werden die Informationen des reduzierten Bildes 
11, d.h. im wesentlichen die darin enthaltenen Objekte, in unterschiedliche 
Auflosungen zerlegt. Jedes korrespondierende FilterbiW enthalt somit andefe 
GroBendimensionen der Bildinformation des reduzierten Bildes 11. 

In einer weiteren Stufe 30 des erfindungsgemaBen Verfahrens wird jeder Pi- 
xelpunkt jedes FHterbildes 21, 22, 23 mittels eines Klassifikators gepruft. Es 
20 sind insgesamt soviele Klassifikatoren anzuwenden, wie es Filterbilder gibt. 
Die Gesamtheit der eingesetzten Klassifikatoren bildet ein Ensemble von 
' Klassifikatoren. Ein Ensemble besteht aus mindestens zwei Klassifikatoren. 

4 ErfindungsgemaB arbeitet jeder Klassifikator unabhangig voneinander und die 

Klassifikatoren unterscheiden sich im allgemeinen voneinander. 

25 Das Ergebnis der Prufung durch ein Ensemble von Klassifikatoren besteht 
darin, daB fur jedes Filterbild 21, 22, 23 jeweils eine Gruppe von Klassifikati- 
onsbildern 31a, 31b, 31c bzw. 32a, 32b, 32c bzw. 33a, 33b, 33c (Fig. 1) ent- 
stehen. In der Darstellung der Figur 1 stellen die Klassifikationsbifder 31a, 
32a, 33a das Ergebnis des Ensembles fur eine bestimmte Objektklasse a, z.B. 

30 ein bestimmter Fahrzeugtyp, dar. Die Klassifikationsbilder 3 1)3, 32b, 33b bzw. 
31c, 32c, 33c entsprechen anderen Objektklassen (b und c), z.B. weiteren 
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diese Adaptionsphase in der entsprechenden Fach-Literatur als ..Training" 
oder „Lemen einer Regel" bezeichnet. Fur andere Klassifikatoren werden z.B. 
statistische Verfahren eingesetzt. 

Sollen zum Beispiel aus vorfiegenden EingangsbiWem verschiedene Fahrzeug- 
5 typen klassifiziert werden, so konnen fur die Klassifikation 30 als Klassen bei- 
spielsweise „Kleinwagen", „Limousinen" und transporter" festgelegt werden. 
Im Schritt 20 werden zunachst verschiedene Merkmale der Fahrzeuge aus 
den Bildern extrahiert. Aus diesen Merkmalen wird ein Merkmalsvektor fur 
jeden Pixelpunkt gebildet, dessen Komponentert den verwendeten Klassifika- 

in 10 tor als Eingangswerte zugefuhrt werden und als Basis fur eine Klassenzutei- 
r V lung dienen. Der Klassifikator ordnet entsprechend einer vorher festgelegten 
5 Regel jedem Merkmalsvektor eine BewertungsmaBzahl fur jede der Klassen 
n Kleinwagen", ..Limousine" oder ^Transporter" zu. 

Bei dem Training von Neuronale Netz-Klassifikatoren vor Anwendung des Ver- 
15 fahrens konnen z.B. die dafur notwendigen Merkmatsvektoren aus verfugba- 
ren reprasentativen Beispieleingangsbildem gewonnen werden. Dabei werden 
diese Merkmalsvektoren fur das Lernen der Regeln nur aus denjenigen Pixel- 
punkten in den Fiherbildem (21, 22, 23) gewahlt, die in der Grobklassifikation 
(10) der Beispieleingangsbilder als interessante Pixelpunkte eingestuft wor- 
20 den sind. 

Die Eingangswerte jedes Klassifikators setzen sich aus der Nachbarschaft des 
betrachteten Bildpunktes des entsprechenden Filterbildes 21, 22, 23 zusam- 
men. Dies bedeutet, daB fur jeden Bildpunkt eine lokale Umgebung, z.B. der 
linke, rechte, obere und untere Nachbarpixel des betrachteten Bildpunktes, 

25 ausgewahlt wird. Die Wahl der Umgebung kann in Abhangigkeit der zu erken- 
nenden Objekte erfblgen oder vorgegeben sein. Die Auswahlkriterien bezie- 
hen sich auf die Eigenschaften der zu erkennenden Objekte. Beispielsweise 
erforderri groBe Objekte groBere Umgebungen, da zur Erkennung groBer Ob- 
jekte \rr\ ailgemeinen mehr Merkmale notig sind, als fur kleinere Objekte. Die- 

30 se benachjbarten Pixelpunkte werden nach vorgegebenen Vorschriften in ei- 
nen Me?|malsvektor einsortiert. Basierend auf dlesem Merkmalsvektor liefert 
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der entsprechende Klassifikator des Ensembles somit Ausgabewerte fur je- 
den Pixelpunkt, die als Bewertung bzw. Ma6 beziiglich einer Klassenzugeho- 
rigkeit interpretiert werden. 

Ein Beispiel fur eine Vorschrift, urn aus einer Umgebung eines Pixelpunktes 
5 einen Merkmalsvektor zu bilden, wird im foigenden beschrieben: Bei der Bil- 
dung des Merkmalsvektors werden die Werte der Umgebung des Pixelpunk- 
tes der jeweiligen Filterbilder (21, 22, 23) spiralformig in einen Koeffizienten- 
vektor einsortiert, auf diesen wird eine schnelle Fouriertransformation ange- 
wendet und der Merkmalsvektor wird dann aus dem Betrag der Transformati- 
io onskoeffizjenten gebildet. 

♦ 

Wird von einer Zerlegung 20 in SignalreprSsentationen ausgegangen, die Fil- 
terbilder 21,22,23 liefert, die beispielsweise kleine, mittlere und groBe Ob- 
jektmerkmale enthalten, dann kann die Klassifikation 30 folgendermaBen 
ablaufen: Fur jeden Pixelpunkt eines Filterbildes 21,22,23 wird aus dessen 

15 Nachbarschaft, z.B. aus einer 5x5-Pixelumgebung, deren Mittelpunkt der be- 
trachtete Pixelpunkt darstellt, ein Merkmalsvektor gebildet. Dieser Merk- 
malsvektor besteht entsprechend der gewahlten Umgebung aus 25 Kompo- 
nenten, die sich aus den kodierten Werten des entsprechenden Filterbildes 
21,22,23 zusammensetzen. Eine weitere mogflche Vorschrift zur Erzeugung 

20 eines Merkmalsvektors aus der 5x5 Pixel umgebung besteht z.B. darin, die 
Spalten der 5x5 Pixelumgebung nacheinander in den Merkmalsvektor einzu- 
^ ordnen. Anhand des gebildeten Merkmalsvektors liefert dann der dem Filter- 

■<(pb bild zugeordnete Klassifikator Ausgangswerte, die eine Bewertung der Zuge- 
horigkeit des betrachtete Pixelpunkt zu den Objektklassen, z.B. w KIeinwagen", 

2S ..Limousine" Oder transporter", darstellen. Die Merkmalsvektoren aus z.B. 
dem Filterbild 21 enthalten beispielsweise Fahrzeugdetails, die spezifisch fur 
eine der Fahrzeugklassen sein konnen und aufgrund derer eine Klassenzutei- 
lung durch einen Klassifikator moglich wird. Analog beziehen sich In dlesem 
Beispiel die Merkmalsvektoren des Filterbildes 22 auf mittlere Fahrzeugstruk- 

30 turen und die Merkmalsvektoren des Filterbildes 23 auf die groben Fahr- 
zeugstruktjlren, die den jeweiligen Klassifikatoren als Grundlage fur ihre Ent- 
scheidung dienen. Fur jeweils eine Objektklasse liefert der Klassifikator einen 
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Ausgangswert, d.h. z.B. die Wahrscheinlichkeit des betrachteten Pixelpunktes 
fur eine Klassenzugehorigkeit. Dieser wird in dem entsprechenden Klassifika- 
tionsbild 31a, 32a, 33a bzw. 31b, 32b, 33b bzw. 31c, 32c, 33c abgespeichert 
und kann durch Farbcodierung des Wertebereichs, z.B. durch Zuordnung der 
5 Farbe Schwarz fur eine Wahrscheinlichkeit von 0 Prozent und der Farbe WetB 
fur eine Wahrscheinlichkeit von 1 00 Prozent, visualisiert werden. So konnte 
beispielsweise der erste Klassifikator, der dern'Fitterbild 21 zugeordnet ist, 
aufgrund des Merkmalsvektors eines bestimmten Pixelpunktes die Aus- 
gangswerte 13 Prozent fur die Objektklasse „KJeinwagen", 17 Prozent fur die 
10 Objektklasse „Limousine" und 70 Prozent fur die Objektklasse transporter" 
liefem, falls als BewertungsmaBzahlen Wahrscheinfichkerten festgelegt wur- 
den. Diese drei Wahrscheinlichkeiten werden in den Klassifikationsbildern 
31a, 31b, 31c gespeichert und visualisiert. Die Ktasstfikationsbilder 32a, 32b, 
32c und 33a, 33b, 33c entstehen in analogerWelse!'"" 

is In einem weiteren Verfahrensschritt erfblgt fur jede Objektklasse eine Fusion 
40 der Klassifikationsbilder 31a, 32a, 33a bzw. 31b, 32b, 33b bzw. 31c, 32c, 
33c. Dabei werden die erhaltenen ErnzelbewertungsmaBzahlen der Klassifika- 
toren je Pixelpunkt und je Klassifikationsbild 31a, 32a, 33a bzw. 31b, 32b, 
33b bzw. 31c, 32c, 33c zu einer Gesamtbewertung kombiniert und in den Fu- 

20 sionsbildern 41a, 41b, 41c (Figur 1) gespeichert und visualisiert. Somit erhilt 
man fur jeden Bildpunkt des reduzierten Bildes 1 1 fur jede Objektklasse eine 
GesamtbewertungsmaBzahl, die die kombinierte Bewertung der Klassifikato- 
ren des Ensembles reprasentiert. 

Die EinzelbewertungsmaBzahlen der Klassifikatoren eines Ensembles werden 
25 aufgrund vorbestimmter und bekannter mathematischer Verfahren miteinan- 
der kombiniert. Beispielsweise kann der Mittelwert der Einzelbewertungs- 
maBzahlen berechnet und als GesamtbewertungsmaBzahl verwendet werden. 
FaBt man die Entscheidung eines Kl ass iflka tors als Wahrscheinlichkeitsaus- 
sage ^yf, konnen statistische Verfahren, wie z.B. die Bayes-Fusion oder die 
30 Denipster-Shafer-Fusion, eingesetzt werden. Dabei werden die Ausgabewerte 
v - der Klassifikatoren als Wahrscheinlichkeiten genahert und kSnnen mit Hilfe 
der Wahrscheinlichkeitstheorie und bekannten Apriori-Wahrscheinlichkeiten 
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Fahrzeugtypen. Das Verfahren ist nicht auf die beispielhaften drei Objektklas- 
sen begrenzt. Bei jedem einzelnen Klassifikationsbild sind fur jeden Pixel- 
punkt verschiedene Wertigkeiten, die em Ma6 bzw. eine Bewertung dea ent- 
sprechenden Klassifikators bezuglich der Zugehorigkeit des betrachteten Pi- 
5 xelpunktes zu einer Objektklasse darstellen, zugeordnet Diese Bewertungs- 
maBzahlen konnen z.B. Wahrscheinlichkeiten Oder eine festgelegte Gute- 
Rangordnung sein. 

Jeder Klassifikator arbeitet auf folgende Weise: Jeder Klassifikator ordnet Ein- 
gangswerten, d.h. jedem Pixelpunkt des jeweHigen Fitterbildes 21, 22, 23 un- 
w : ■/ io ter Berucksichtigung von dessen Umgebung, nach einer vorgegebenen Regel 
H Ausgangswerte in Form von BewertungsmaBzahlen zu. Die Ausgangswerte 
des Klassifikators geben naherungsweise an, wie sicher sich der Klassifikator 
bei der Klassenzugehorigkeit des betrachteten Prxetpunktes ist. Klassifikato- 
ren konnen z.B. Polynomklassifikatoren, Support-Vektor-Maschinen oder neu- 
1 5 ronale Netze sein . 

Werden als Klassifikatoren beispielsweise neuronale Netze eingesetzt, be- 
steht das Ensemble entsprechend der Ausfiihrungsforni der Fig. 1 aus drei 
unterschiedlichen neuronalen Netzen. Jedem neuronalen Netz ist genau eines 
der Filterbilder 21, 22, 23 zugeordnet, in Bezug auf das das entsprechende 
20 neuronale Netz operiert. Jedes neuronale Netz des Ensembles ordnet jedem 
j Bildpunkt des zugeordneten Filterbildes 21, 22, 23 nach vorgegebenen Re- 

geln eine entsprechende BewertungsmaBzahl fur jede Objektklasse, z.B. ei- 
nen Wahrscheinlichkeitswert, in dem entsprechenden Klassifikationsbild 31a, 
31b, 31c bzw. 32a, 32b, 32c bzw. 33a, 33b, 33c zu, d.h. es speichert diesen 
25 Wert ab und visualisiert diesen, z.B. durch eine Farbkodierung, in dem Klassi- 
fikationsbild 31a, 31b, 31c bzw. 32a, 32b, 32c bzw. 33a, 33b, 33c. 



Die Regel elnes Klassifikators wlrd vorzugsweise aus vorhandenen und vor 
Anwendung des in der Figur 1 dargestellten Verfahrens analysferten Beispie- 
len von reprasentativen Eingangswerten gewonnen. Dabei wird der Klassifika- 
30 tor im allgemeinen iterativ an die vorgegebenen Beispiele adaptiert und somit 
die in den Belsplelen enthaltene Regel extrahiert. Bei neuronalen Netzen wird 



Se/Th - 17.11.1999 



12. JUL. 2004 14:49 



EADS OTN LG-SP +49 89 60725560 



NR. 956 S.13 



P 609252 1 1 



- s 




fusioniert werden. Diese Apriori-Wahrscheinlichkeiten konnen beispielsweise 
aus Kontextinformationen uber die Art, Lage und Inhalt des auszuwerte'nden 
Eingangsbildes (1) gewonnen werden. Die Wahrscheinlichkeitswerte der Klas- 
sifikatoren des Ensembles werden bildpunktwelse fur jede Objektklasse 
s durch die statistischen Verfahren zusammengefaBt. Das Fusionsergebnis ffir 
jeweils eine Objektklasse entspricht dabei einer endgultigen Wahrscheinlich- 
keitsaussage fur den betrachteten Bildpunkt be2iiglich der vorgegebenen 
Objektklasse. 

Die Fusion 40 der EinzelbewertungsmaBzahlen des Ensembles kann fur einen 

10 beliebigen Pixelpunkt des reduzferten Bildes 1 1 z.B. folgendermaBen ablau- 
fen. Fur jede Objektklasse werden die BewertungsmaBzahlen der verschiede- 
nen Klassifikatoren der korrespondierenden Pixel punkte der Klassifikations- 
bilder 31a, 32a, 33a bzw. 31b, 32b, 33b bzw. 31c, 32c, 33c algorithmisch 
kombiniert. Legt man als BewertungsmaBzahlen z.B. Wahrscheinlichkeiten 

is zugrunde und liefern die Klassifikatoren des Ensembles fur eine bestimmte 
Objektklasse pixelweise z.B. die Wahrscheinlichkeiten 87 Prozent, 83 Prozent 
und 95 Prozent, so konnte das Fusionsergebnis fur diesen Pixelpunkt und 
diese Objektklasse z.B, als der Mittelwert der drei Wahrscheinlichkeiten, 88,3 
Prozent, festgelegt werden. Die einzelnen Zahlen haben in diesem Beispiel 

20 folgende Bedeutung: Ein erster Klassifrkator des Ensembles, der dem Filter- 
bild 21 zugeordnet ist, liefert fur eine bestimmte Objektklasse und den be- 
trachteten Pixelpunkt des reduzierten Bildes 1 1 den Wahrscheinlichkeitswert 
87 Prozent, d.h. der Klassiflkator ordnet dem betrachteten Pixelpunkt auf- 
grund der Merkmale aus dem Filterbild 21 die Wahrscheinlichkeit von 87 Pro- 

25 zent zu, daB dieser Pixelpunkt zu einer Objektklasse, z.B. der Objektklasse a, 
gehort. Entsprechend sind die weiteren Wahrscheinlichkeitswerte der ver- 
bleibenden Klassifikatoren und Pixelpunkte zu interpretieren. Die fusionierte 
Gesamtwahrscheinlichkeit je Pixelpunkt bedeutet, daB das Ensemble dem 
betrachteten Pixelpunkt eine Wahrscheinlichkeit von z.B. 88,3 Prozent fur die 

30 Zugehorigkeit zu einer bestimmten Objektklasse, z.B. a, zuordnet. Fur die 
weiteren Objektklassen lauft die Fusion analog ab. 
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In einem letzten Verfahrensschritt 50 wird ein Entscheidungsergebnisbild 5 1 
erstellt. Dazu wird aus den Fusionsbildern 41a, 41b, 41c fur jeden Pixelpunkt 
des reduzierten Bildes 1 1 bestimmt, ob und zu welcher dieser der vorgegebe- 
nen Objektklassen angehort, Fur diese Zuordnung werden die Gesamtbewer- 
s tungsmaBzahlen der korrespondierenden Pixelpunkte der Fusionsbilder 41«, 
41b, 41c miteinander verglichen, z.B. indem das Maximum der Gesamtbewer- 
tungsmaBzahlen fur die verschiedenen Objektklassen bestimmt wird. Es wird 
dabei die Objektklasse ausgewahlt, dessen GesamtbewertungsmaBzahl den 
hochsten Wert hat Das somit bestimmte maximale GesamtbewertungsmaB 
io fur eine Objektklasse wird anschlieBend nocn mit einem vorgegebenen 
- ; Schwellenwert verglichen und falls der Wert iiber dem Schwellenwert Hegt, 

# wird dem korrespondierendem Pixelpunkt im Entscheidungsergebnisbild 51 
die entsprechende Objektklasse geeignetkodiert zugeordnet. Durch den vor- 
ab gewahlten Schwellenwert wird fur jeden Bildpunkt festgelegt, ob dieser 
15 Bildpunkt Teil eines Objektes einer bestimmten Objektklasse ist oder nicht. 

Eine mogliche Ersteliung des Entscheidungsergebnisbildes 51 wird im folgen- 
den beschrieben. Geht man beispielsweise von drei zu erkennende Objekt- 
klassen aus, z.B. ..Kleinwagen", ..Limousine" und transporter", hat fur einen 
bestimmten Pixelpunkt die GesamtbewertungsmaBzahl z.B. fur die Objekfr- 

20 klasse transporter" den hochsten Wert und Hegt diese BewertungsmaBzahl 
Gber einen vorgegebenen Schwellenwert, dann wird der betrachtete Pixel- 
punkt der Objektklasse transporter" zugewiesen. Liegt die Gesamtbewer- 
tungsmaBzahl unter dem Schwellenwert, wird davon ausgegangen, daB der 
Pixelpunkt zu keiner der gegebenen Objektklassen gehort. Fur die drei ge- 

25 nannten Beispielobjektklassen kann den Pixelpunkten des Entscheidungser- 
gebnisbildes 51 beispielsweise jeweils eine Identifizierungsnummer aus dem 
Zahlenbereich von Null bis Drei zugeordnet werden, wobe? die Zahl Null be- 
deutet, daB der Pixelpunkt zu keiner der gesuchten Objektklassen gehort, die 
Zahl Eins, daB der Pixelpunkt zu der Objektklasse „ Klein wagen" gehort, usw. 

30 In dem Entscheidungsergebnisbild 51 werden die erkannten Objekte durch 
Pixelcluster reprasentiert. Ein Cluster wird allgemein durch eine groBere An- 
zahl von benachbarten Pixelpunkten mit identischen Eigenschaften, z.B. 
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Farbwerten, gebildet In dem Entscheidungsergebnisbild 51 bei einer bei- 
spielhaften Kodierung aus dem Zahlenbereich von Null bis Drei der genannten 
drei Objektklassen, zeichnet sich ein Cluster dadurch, aus, daB die benach- 
barten Pixelpunkte iiberwiegend einer bestlmmten Objektklasse zugeordnet 
sind und somit uberwiegend uber die gleiche Kodierung verfugen. 

Fur das Beispiel-Eingangsbild mit dem beschriebehen Szenario einer StraBe 
mit Fahrzeugen enthalt das Entscheidungsergebnisbild 51 beispielsweise 
Cluster in den Bildbereichen, die bestimmten Fahrzeug-Typen entsprechen. 
Die GroBe dieser Cluster entspricht dabei ungefahr der Ausdehnung der Fahr- 
zeuge im Blld, Einen Ausschnitt aus einem moglfchen Entscheidungsergeb- 
nisbild 51 zeigt Figur 3. Darin enthalten sind drei Cluster, die sich aus rnehre- 
ren Pixelpunkten mit uberwiegend gleicher Kodierung zusammensetzen und 
jeweils einem Objekt einer bestimmten Objektklasse entsprechen. 

Das Entscheidungsergebnisbild 5 1 kann fur eine Weiterverarbeitung auf Ob- 
jektebene eingesetzt werden. Das erfindungsgemaBe Verfahren bezieht sich 
nur auf die Bildpixelebene. Nachfolgend wird erganzend dazu beispielhaft 
darauf eingegangen, wie der Ubergang zur symbolischen Objektebene, Le, die 
Beschreibung der Bildinhalte durch Symbole, stattfinden kann. Die Verfah- 
rensschritte, die zum Ubergang von der ikonfschen Bildpunktebene zur sym- 
bolischen Objektebene erforderlich sind, stellen den Stand der Technik dar 
und sind weitlaufig bekannL 

Anhand z.B. der ClustergroBe, d.h. der Anzahl an Bildpunkten gleicher Kodie- 
rung in einem einzelnen Cluster, im Entscheidungsbild 51 kann fur jeden Clu- 
ster entschieden werden, ob dieser Cluster em reates Objekt einer vorgege- 
benen Objektklasse im Eingangsbild 1 auf der symbolischen Objektebene re- 
prasentiert oder nicht Bilden z.B. die Pixelpunkte einen Cluster im Entschei- 
dungsergebnisbild 51, dessen GroBe uber einem gewissen Wert liegt, z.B. 
uber 100 Pixelpunkte, wird der Cluster einem erkannten Objekt der entspre- 
chenden Objektklasse gleichgesetzt Die Positionen der erkannten Objekte 
im Eingangsbild 1 k5nnen z.B. aus den Schwerpunktspositionen der Cluster 
genahert werden. 
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Das reduzierte Bild 11, die Filterbilder 21, 22, 23, die Klassifikationsbilder 
31a, 32a, 33a bzw. 31b, 32b, 33b bzw. 31c, 32c, 33c, die Fusionsbilder 41a, 
41b, 41c sowie das Entscheidungsergebnisbtld 51 mussen keine Bilder im 
anschaulichen Sinne sein, sondem kdnnen auch mittels mathematischer Me- 
s thoden, z.B. mittels Matrizen, formuliert sein. 

Das erfindungsgemaBe Verfahren kann je nach Anwendungsfall fur verschie- 
dene Zahlen von Objektklassen und im einfachsten Fall fur nur eine Objekt- 
klasse durchgefiihrt werden. Figur 4 zeigt das Verfahren fur den letztgenann- 
ten Fall, bei dem nur eine Objektklasse relevant Oder gesucht ist 



#; 
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PatentansprQche 



1. Verfahren zur Erkennung von Objekten mindestens einer vorbestimm- 
ten Objektklasse auf der Pixelebene in Eingangsbildem, 

bei dem fur jedes Eingangsbild (1) jeder Pixelpunkt in einer Grobklassifi- 
kation (10) aufgoind vorgegebener Kriterien als fur die Objekterkennung 
relevant eingestuft wird und daraufhin ein auf die relevanten Pixelpunkte 
reduziertes Bild (1 1) gebildet wird, 

bei dem jedes reduzierte Bild (1 1) in einer Zerlegung (20) durch Filterung 
nach vorgegebenen Kriterien in zumindest zwei korrespondierende Fil~ 
terbilder (21, 22, 23) zerlegt wird, wobei die fur die Erkennung der Ob- 
jekte relevanten Bildbestandteile und deren gegenseitigen Zuordnungen 
erhalten bleiben, 

bei dem in einem Klassifikationsschritt (30) aus den Filterbildem (21, 22, 
23) mittels eines Ensembles von nach vorbestimmten Regeln arbeiten- 
den Klassifikatoren Kiassifikationsbilder (31a, 32a, 33a; 31b f 32b, 33b; 
31c, 32c f 33c) mit Bewertungszahlen der Klassifikation fur jede Ob- 
jektklasse gebildet werden, 

bei dem in einer Fusion (40) die Kiassifikationsbilder (31a, 32a, 33a; 
31b, 32b, 33b; 31c, 32c, 33c) algorithmisch zu einer kombinierten Ge- 
samtentscheidung (41a, 41b, 41c) fur jede Objektklasse zusammenge- 
faBt werden, 

bei dem in einer Erstellung des Entscheidungsergebnisses (50) fur jeden 
Pixelpunkt des reduzierten Bildes (11) anhand der Fusionsbilder (41a, 
41b, 41c) entschieden wird, ob und zu welcher Objektklasse der Pixel- 
punkt gehort 
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2. Verfahren zur Erkennung von Objekten nach Anspruch 1, dadurch 
gekennzeichnet, da6 bei der Grobklassifikation (10) die relative Homogeni- 
tat der Pixelpunkt-Umgebung als Kriterium fur die Relevanz eines Pixelpunk- 
tes im Eingangsbild (1) verwendet wird. 

5 3. Verfahren zur Erkennung von Objekten nach Anspruch 1 Oder 2, da- 

durch gekennzeichnet, daB bei der Zerlegung (20) aus dem reduzierten Bild 
(11) durch die mehrfache Kombination von zweidimensionaler Filterung eine 
Bildpyramide (21, 22, 23) erzeugt wird, in der das reduzierte Bild (11) auf 
mehreren Auflosungsstufen vorliegt. 

W 10 4. Verfahren zur Erkennung von Objekten nach einem der voranstehen- 
den Anspruche, dadurch gekennzeichnet, daB bei der Zerlegung (20) aus 
dem reduzierten Bild (11) eine zweidimensionale Filterung nach Graustufen 
vorgenommen wird. 

5. Verfahren zur Erkennung von Objekten nach einem der voranstehen- 
15 den Anspruche, dadurch gekennzeichnet, daB bei der Klassifikation (30) fur 
jeden Pixelpunkt des reduzierten Biides (11) jeweils eine um diesen Pixel- 
punkt gelegene Umgebung des jeweiligen Filterbildes (21, 22, 23) in Form 
eines Merkmalsvektors als Eingangsinformation fQr einen Klasslfikator ver- 
wendet wird. 

20 6. Verfahren zur Erkennung von Objekten nach Anspruch 5, dadurch 

'S^ gekennzeichnet, daB bei der Bildung des Merkmalsvektors die Werte der 
Umgebung des Pixelpunktes der jeweiligen Filterbilder (21, 22, 23) spiralfor- 
mig in einen Koeffizientenvektor einsortiert werden, auf den eine schnelle 
Fouriertransformation angewendet wird und der Merkmalsvektor aus dem 
25 Betrag der Transformationskoeffizienten gebildet wird. 

Verfahren zur Erkennung von Objekten nach einem oder mehreren 
der yoranstehenden Anspruche, dadurch gekennzeichnet, daB als Klassifika- 
tor fur die Klassifikation (30) ein lernfahiges Neuronales Netz eingesetzt wird. 
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8. Verfahren zur Erkennung von Objekten nach Anspruch 7, dadurch 
gekennzeichnet, daB bei der Bestimmung der Regeln fur die Neuronalen 
Netze die Merkmalsvektoren aus denjenigen Pixelpunkten in den Filterbildern 
(21, 22, 23) gewahlt werden, die in der Grobklassifikation (10) als interessan- 

5 te Pixelpunkte des Eingangsbildes (1) eingestuft worden sind. 

9. Verfahren zur Erkennung von Objekten nach einem Oder mehreren 
der voranstehenden Anspruche, dadurch gekennzeichnet, daB bei der Fusi- 
on (40) die Klassifikationsbllder gemaB einem statistischen Verfahren zu ei- 
ner Gesamtentscheidung zusammengefuhrt werden und dabei zusatzltch 
noch Kontextinformationen uber die Art, Lage und lnhalt des auszuwertenden 
Eingangsbildes (1) einf I ieBen. 

10. Verfahren zur Erkennung von Objekten nach einem oder mehreren 
der voranstehenden Anspriiche, dadurch gekennzeichnet, daB bei der Er- 
stellung (50) des Entscheidungsergebnisses die erkannten Objekte auf der 

15 Bildpixelebene durch Pixelcluster in dem Entscheidungsergebnisbild (51) re- 
prasentiert werden. 
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Zusammenfassung: 



Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten mindestens 
einer vorbestimmten Objektklasse auf der Pixelebene in Eingangsbildern, bei 
5 dem fur jedes Eingangsbild (1) jeder Pixetpunkt in einer Grobklassifikation 
(10) aufgrund vorgegebener Kriterien als fur die Objekterkennung relevant 
eingestuft wind und daraufhin ein auf die reievanten Pixelpunkte reduziertes 
Bild (11) gebitdet wird, bei dem jedes reduzierte Bild (1 1) in einer Zerlegung 
(20) durch Filterung nach vorgegebenen Kriterien in zumindest zwei korre- 
W 10 spondierende Filterbilder (21, 22, 23) zerlegt wird, wobei die fur die Erken- 
nung der Objekte relevanten Bildbestandteile und deren gegenseitigen Zu- 
ordnungen erhalten bleiben, bei dem in einem Klassifikationsschritt (30) aus 
den Filterbildern (21, 22, 23) mittels eines Ensembles von nach vorbestimm- 
ten Regeln arbeitenden Klassifikatoren Klassiflkationsbilder (31a, 32a, 33a; 
15 31b, 32b, 33b; 31c, 32c, 33c) mit Bewertungszahlen der Klassifikation fur 
jede Objektklasse gebildet werden, bei dem in einer Fusion (40) die Klassifi- 
kationsbilder (31a, 32a, 33a; 31b, 32b, 33b; 31c, 32c, 33c) algorithmisch zu 
einer kombinierten Gesamtentscheidung (41a, 41b, 41c) fiir jede Objektklas- 
se zusammengefaBt werden, bei dem in einer Erstellung des Entscheidungs- 
20 ergebnisses (50) fur jeden Pixelpunkt des reduzierten Biides (1 1) anhand der 
Fusionsbilder (41a, 41b, 41c) entschieden wird, ob und zu welcher Objekt- 
klasse der Pixelpunkt gehdrt. 

Fig. 1 
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